查看原文
其他

Google Resonance Audio SDK for Unity

2017-11-14 Unity官方 Unity官方平台

昨天我们介绍了CRI ADX2音效插件,今天我们将为大家介绍Google最新的Resonance Audio SDK for Unity。该SDK可以在Android、iOS、Windows、MacOS和Linux等平台上,以最高保真度为XR、3D和360视频项目渲染数百个同步3D音源。此SDK包含两个Unity独有功能:Ambisonic 声场录制(Ambisonic Soundfield Recording)和几何混响烘焙(Geometric Reverb Baking)。


Resonance Audio解决了沉浸式和交互式体验中音频方面的最大挑战。它能够在多种平台上提供真实有效的声音,而不会影响音频质量或耗尽CPU资源。同时通过Resonance Audio SDK for Unity,我们可以制作Ambisonic剪辑,综合Ambisonic和空间化剪辑,基于场景几何体和声学表面材质生成逼真的混响,并提供其他令人印象深刻的音频效果。

 

感受Resonance Audio的魅力

Audio Factory是一个展示Resonance Audio SDK特性和功能的VR体验。你可以带上耳机,在下面Audio Factory视频中感受空间音频的魅力。

 

https://v.qq.com/txp/iframe/player.html?vid=s0504t9tc94&width=500&height=375&auto=0

Resonance Audio所用的技术已在Daydream上最棒的“Made with Unity”VR应用以及所有的YouTube 360视频中使用。



使用Resonance Audio前的准备

  • 在项目中使用Resonance Audio需要安装Unity 2017.1或更高版本

  • 下载Resonance Audio SDK for Unity


下载地址:https://github.com/resonance-audio/resonance-audio-unity-sdk/releases

 

Resonance Audio:概述和功能

工作原理

Audio spatializer通常是CPU密集型的,并且性能消耗随音频源的数量递增。相比之下,Resonance Audio的spatializer效率很高,在场景中新增音频源时扩展性很好。Resonance Audio通过一种独特的设计实现了这一点,即将每个音源剪辑都被转换成Ambisonic格式。


这种格式含有足够对音频源进行有效空间化的空间信息。所有的音频源会被混合在一起。对混合的输出只需应用一次“昂贵”的空间化步骤。这样即使在移动设备上,每个CPU内核也能处理数百个同步高保真音频源。

 

Ambisonic解码器:整合Ambisonic剪辑与空间化剪辑

Resonance Audio含有一个Ambisonic解码器插件。使用这个插件,基于Resonance Audio的Ambisonic支持,开发人员可以使用Ambisonic剪辑和更传统的音频剪辑创建丰富的音频体验。一阶Ambisonic混合到全局内部Ambisonic表征,该表征已为所有空间化音频源生成。空间化步骤仅需针对所有音频源的混合输出应用一次。

 

Ambisonic 声场录制:在Unity 编辑器中创作剪辑

Ambisonic对于XR音频来说是一个激动人心的进步,因为它们可以在聆听者的上方和下方以及水平面上投射声音。把它们想象成音频中的360度视频, XR环境随着你的头部正确旋转,在XR体验中以另一种有趣和创造性的方式进行表现。


但是使用Ambisonic的一个典型问题是,剪辑较难记录和创作。现在,使用Resonance Audio SDK中Unity独有的Ambisonic声场录音工具,音效设计师可以使用Unity来制作Ambisonic剪辑。此功能允许你将许多Ambisonic音频源放置在场景中,然后基于原始剪辑的混合输出,烘焙出单个Ambisonic剪辑。


新创建的Ambisonic剪辑比回放多个音频源要方便得多。它还保留了足够的相对位置信息,以真实地模拟每个声音的来源,并在XR体验中使这些声音能够正确地随头部旋转。

 

几何混响烘焙:计算音频反射和混响

几何混响烘焙对于Unity也是独一无二的,这个功能让开发者可以根据场景中的几何体和相关的声学表面材质生成逼真的混响。Resonance Audio还支持声源和收听者的直接声音传播、遮挡、近场效应、声源扩散以及方向性塑造。


Resonance Audio的声音指向性定制


Unity中Resonance Audio的几何混响烘焙


环境音频或模拟环境如何影响创作的声音,是另一个持续的挑战。最初,环境模型很简单,常会使用“鞋盒”模型,该模型基本上是假定收听者和音频源处于一个长方形的房间内。现在有了Resonance Audio SDK,你可以使用实际的场景几何体进行对应环境效果的更真实模拟。

 

跨平台支持:一次生成,处处部署

Resonance Audio SDK for Unity支持Android、iOS、Windows、MacOS和Linux平台的开发。

 

小结

现在是时候为你的Unity项目加入高保真Resonance Audio,让你的用户为身临其境的逼真音效而惊叹了。后面我们还将继续为大家分享更多使用Unity引擎开发游戏相关的教程和经验在Unity官方中文社区(unitychina.cn),请保持关注!

 

推荐阅读

使用CRI ADX2音效插件丰富你的游戏世界

Unity技术支持团队性能优化经验分享

教程 | 《守望先锋》中火箭跳的实现

揭秘Unity 2017.2的情景测试

5个保持动画控制器整洁的小技巧


近期Unity官方活动

11月,Unity教育峰会,桂林、济南、武汉站报名火热进行中。


11月15日明晚20:00,Unity技术团队第八场技术直播《Unity 2017中Cinemachine新功能案例详解》报名仅剩最后1天。


11月25日-11月29日Unity订阅年度限时大促销,快来准备参与吧!


点击“阅读原文”进入Unity官方中文社区

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存